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Неокогнитрон для распознавания объектов 
топологии интегральных микросхем" 


С целью улучшения характеристик обработки информации и точности распознавания проводится анализ 
структуры НС «неокогнитрон» и описывается выбор архитектуры разработанной многослойной НС, которая 
реализует многоуровневый процесс распознавания объектов топологии интегральных микросхем. 


При обработке визуальной информации в различных предметных областях имеет 
место задача распознавания в условиях неполной и нечеткой информации. Наиболее 
подходят для ее решения нейросетевые технологии, нейроннная сеть (НС) при этом 
выступает в роли классификатора [1-4]. 

Отличительными особенностями задач обработки, анализа и идентификации изо- 
бражений топологии интегральных микросхем (ИС) являются следующие. Во-первых, 
информация об объекте представляется совокупностью изображений топологических 
слоев, число которых доходит до 30. Во-вторых, каждое изображение, представляю- 
щее собой информацию об одном слое, может содержать и информацию о смежных 
слоях изделия. В-третьих, изображения характеризуются наличием мешающего фона, 
а также неопределенностью положения и ориентации отдельных элементов, при- 
водящими к большой избыточности. В-четвертых, изображения, полученные в опти- 
ческом диапазоне, содержат, как правило, очень большой объем информации, которую 
необходимо переработать для их идентификации, выявления различий и принятия 
решений. Все это обусловливает жесткость требований к системам визуального 
контроля и идентификации по разрешающей способности и производительности. 

Наиболее подходящим для этой цели является неокогнитрон [5], который пред- 
ставляет собой многоуровневую НС, состоящую из каскадного соединения слоев 
нейронов. В основе его работы лежит принцип иерархической обработки, обеспечиваю- 
щий извлечение инвариантных признаков [6], [7]. Распознаваемый образ подается на 
входной слой НС и далее послойно обрабатывается последующими ее слоями, при 
этом нейроны из более глубокого слоя распознают более сложные признаки образа. 
Обработка обычно осуществляется в два этапа: сначала извлекаются признаки, затем 
достигается их инвариантность пространственным объединением. Для любого 
признака извлекается ряд значений с идентичными размерами рецепторных областей, 
но распределенными по входному слою. Это достигается путем разделения весовых 
коэффициентов между нейронами одного типа, выделяющими одинаковый признак. 
Объединение значений активностей соседних нейронов, чувствительных к одному и 
тому же локальному признаку в различных местоположениях, приводит к отклику на 
определенный признак, который инвариантен к местным изменениям. 

Концепция нейросетевой обработки и идентификации видеоизображений пред- 
полагает использование следующих подходов к обработке изображений топологических 
слоев ИС [8]: 1) проблемно-ориентированной предварительной обработки, сохраняющей 
информационные признаки топологических объектов; 2) выделения (идентификации) 
объекта на изображении для нейросетевой обработки за счет использования инфор- 
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мации об иерархии признаков; 3) использования набора классификаторов, в котором 
по результатам классификации на тестовой выборке производится выбор модели 
классификатора для обработки всех изображений. 

В данной статье рассмотрена реализация третьего подхода на примере неоког- 
нитрона. Обобщая сущность структурных и алгоритмических решений, применяемых 
в неокогнитроне, можно отметить следующее. 

1. Во всех идентифицируемых изображениях выделяют два типа признаков: прос- 
тые, присущие всем изображениям (линии, точки пересечения линий); комплексные, 
присущие только определенному классу изображений (например, определенная про- 
странственно-геометрическая комбинация простых признаков). 

2. В соответствии с критерием сложности все признаки образуют иерархию, где 
каждый уровень объединяет признаки одной сложности. Первый уровень состав- 
ляют простые признаки. Каждый следующий уровень является более сложным, и его 
признаки образуются путем пространственно-геометрической комбинации признаков 
предыдущего уровня. 

3. Строится многослойная сеть, где количество слоев совпадает с количеством 
уровней сложности. Нейроны в слое делятся на группы, соответствующие признакам, 
выделяемым на данной слое. Функция отдельной группы заключается в обнаружении 
(выделении) соответствующего признака на всем изображении, т.е. значение актив- 
ности нейронов группы формирует карту распределения признака на изображении. 
Для обеспечения инвариантности сети к небольшим сдвигам признаков (искажениям 
типа «смещение») дополнительно вводятся обобщающие слои, которые дублируют 
карты распределения признаков соответствующих им подслоев, при этом каждый 
обнаруженный признак «размазывается» по некоторой его окрестности. 

4. Идентификация образа производится путем последовательной активации слоев: 
от слоя, выделяющего простые признаки, до слоя, выделяющего признаки всего образа 
в целом. 

Таким образом, при создании неокогнитрона для решения задачи классификации 
необходимо определить: способ выделения признаков и структуру НС. 


Способ выделения признаков и обучение сети 


В основе правила активации нейронов лежит метод сравнения матриц яркостей 
изображений, который позволяет сравнивать матрицы с нечетким позиционированием 
соответствующих элементов матриц и основывается на расчете геометрических и яр- 
костных искажений по набору изображений объекта [9], [10]. Особенностью данного 
правила активации является инвариантность результатов сравнения к локальным 
искажениям формы объекта. В качестве правила обучения (правила модификации 
коэффициентов) используется функция нечеткого динамического среднего. 

В рассматриваемой здесь постановке задачи распознавания предполагается, что 
существует набор шаблонов изображений. Следовательно, имея такой набор образцов, 
необходимо разработать метод автоматической генерации обучающего множества 
для каждого слоя сети. Для каждого слоя сети можно определить размеры проекции 
рецепторного поля нейрона на входной слой сети. На рис. | изображена проекция 
рецепторного поля нейрона из второго на входной слой сети для случая одномерных 
входных данных. 

Таким образом, для одного обучающего изображения получим К обучающих 
изображений для некоторого 1-го слоя сети: К = №, — № + 1, где №, — размер входных 
данных; №; — размер проекции рецепторного поля 1-го слоя сети. 

Обозначим через Ё` среднюю частоту смены уровня яркости изображения, для 
которой соседние точки изображения считаются принадлежащими одному уровню. 
Теперь радиус геометрических искажений А зададим как А = [0,3х1/11, где [ ] — операция 
взятия ближайшего целого. Будем считать, что обучающие данные для 1-го слоя сети 
являются информативными, если выполняется условие: Е„/Ё» < 0,8 или Е/Ех > 1,25. 
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Рисунок 1 — Метод построения проекции рецепторного поля 


После построения обучающего множества для каждого слоя задача обучения 
слоя сводится к задаче кластеризации входных данных слоя, получаемых из обучаю- 
щего множества. 

В связи с тем, что входящие в одну группу нейроны имеют одинаковые матрицы 
весовых коэффициентов, всю группу можно представить в виде одного нейрона, а 
слой — в виде однослойной НС, в которой каждый нейрон соответствует одной из 
групп. Для обучения такой сети будем использовать алгоритм кластеризации, где 
каждый кластер будет соответствовать одному нейрону. После обучения сети будем 
использовать такую НС как прототип для построения искомого слоя в многослойной 
сети, где количество нейронов в прототипе будет соответствовать количеству групп, 
а весовые коэффициенты нейронов из прототипа — весовым коэффициентам у нейро- 
нов из соответствующих групп. 

Функция активации нейрона, а также информативность обучающей выборки 
сильно зависят от параметра В, определяющего максимально допустимое расстояние 
между значениями яркости двух пикселей изображения, которые считаются экви 
валентными. Для устранения этого недостатка предложена новая функция активации 
нейрона [8], которая позволяет отказаться от подбора параметра В. 

В качестве обучающих и тестовых данных для рассмотренной выше модели НС 
использовались изображения слоя металлизации ИС (пример дан на рис. 2). В част- 
ности, сеть обучалась на распознавание контактных окон. 
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Рисунок 2 — Фрагменты ИС с обучающими и тестовыми данными 
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На изображениях слоя металлизации можно выделить два вида контактных окон, 
которые имеют приблизительно одинаковый размер. Пример обучающих изображе- 
ний показан на рис. 3. 


сооо пени 


а) 6) 
Рисунок 3 — Пример исходных обучающих изображений: 
а) первый тип; 6) второй тип 


Генерация обучающего множества для первого слоя НС на примере одного 
обучающего изображения показана на рис. 4. 


Скользящее окно, размер которого равен размеру 
рецепторного поля нейронов первого слоя 


Последовательность изображений 
внутри скользящего окна 
И | 
В Я м и Ы 


Последовательность обучающих 
изображений, отобранных в 
соответствии с критерием © 

и Исходное обучающее изображение 


Рисунок 4 — Генерация обучающего множества слоя 


После построения обучающего множества для каждого слоя решается задача клас- 
теризации входных данных слоя, к которой сводится задача обучения слоя. На примере 
(рис. 5) обученной двухслойной НС значения весовых коэффициентов нейронов 5, ; 
отображены яркостью пикселей соответствующих изображений, где { — номер слоя; 
а; — номер нейрона. 


Матрицы коэффициентов нейронов из различных групп 
нейронов (511, ..., 91.10) первого слоя 


Матрицы коэффициентов нейронов из группы 5> 1, соответствующие 
рецепторным полям в различных группах нейронов предыдущего слоя 


Рисунок 5 — Результат обучения двухслойной НС 
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Выбор архитектуры НС 


Поиск лучшей архитектуры НС осуществлялся следующим методом. Для различ- 
ных вариантов архитектуры сети она обучалась на обучающем множестве, затем тестиро- 
валась на тестовом множестве для обучения. По результатам тестов выбиралась лучшая 
архитектура. Чтобы сравнить качество распознавания в целом, проводилось тестирование 
классификатора (табл. 1), основанного на стандартном корреляционном методе иден- 
тификации. В первом столбце приведены следующие условные названия архитектур 
тестируемых НС: 

корреляция - НС, реализующая корреляционную модель классификации; 

23х23 — однослойная нейронная сеть с радиусом геометрических искажений 
К = 1, определяющим максимально допустимое смещение пикселей эталона на изоб- 
ражении (образе); 

4_20 — двухслойная НС с рецепторными полями 4х4 и 20х20 на первом и вто- 
ром слоях соответственно и А = 1 на обоих слоях; 

5_19 — двухслойная НС с рецепторными полями, равными на первом слое 5х5, 
на втором 19х19 и К = 1 на обоих слоях; 

7_17 — двухслойная НС с рецепторными полями на первом слое 7х7, на втором 
17х17 и Ё = 1 на обоих слоях; 

9 15 — двухслойная НС с рецепторными полями на первом слое 9х9, на втором 
слое 15х15 и А = 1 на обоих слоях. 


Таблица 1 — Результаты тестирования 


НАело Нерас- | Число Непра- 
Тип Число аа | ЕЕ позна- непра- О Суммар- 
класси- ТИП объектов о НН но ВИЛЬНО распоз- ная 
фи- объек- | распоз- ошибка 
катора РЯ объектов | Объек- а нанных |98Н9 м (в%) 
всего йдено (в%) тов ви) обоев тов (в %) 
1 2 3 4 5 6 7 8 9 10 
Изображение Ме _5а0 
Корре- 2 18 18 100 0 0 3 16,67 
ляЦИЯ 1 43 41 95,35 2 4,65 И 25,58 
По всем 61 59 96,72 2 3,27 14 22,95 26,23 
23х23 2 18 18 100 0 0 2 11,11 
1 43 41 95,35 2 4,65 2 4,65 
По всем 61 59 96,72 2 3,28 4 6,56 9,84 
4_20 2 18 18 100 0 0 2 11,11 
1 43 42 97,67 1 2,33 1 2,33 
По всем | 61 60 98,36 1 1,64 3 4,92 6,55 
5_19 2 18 18 100 0 0 2 11,11 
1 43 43 100 0 0 1 2,33 
По всем | 61 61 100 0 0 3 4,92 4,92 
7_17 2 18 18 100 0 0 2 11,11 
1 43 41 95,35 2 4,65 1 2,33 
По всем | 61 59 96,72 2 3,28 3 4,92 8,20 
9 15 2 18 18 100 0 0 3 16,67 
1 43 37 86,05 6 13,95 0 0 
По всем | 61 55 90,16 6 9,84 3 4,92 14,75 
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Продолжение табл. 1 


1 2 3 4 5 6 7 8 9 10 
Изображение Ме _5с0 
Корре- | 2 35 34 97,14 | 2,86 | 2,86 
ляция 
1 13 5 38,46 8 61,54 1 7,69 
По всем | 48 39 81,25 9 18,75 2 4,17 22.92 
23х23 2 35 33 94,29 2 5,71 0 0 
1 13 2 15,38 И 84,62 0 0 
По всем | 48 35 72,91 13 27,08 0 0 27,08 
2 35 31 88,57 4 11,43 0 0 
4 20 | 13 5 38,46 8 61,54 0 0 
По всем | 48 36 75 12 25 0 0 25 
5 19 2 35 33 94,29 2 5,71 0 0 
1 13 13 100 0 0 0 0 
По всем | 48 46 95,83 2 4,17 0 0 4,17 
7_17 й 35 35 100 0 0 1 2,86 
1 13 И 84,62 2 15,38 4 30,77 
По всем | 48 46 95,83 2 4,17 5 19,42 14,58 
9 15 2 35 33 94,29 2 5,71 2 5,71 
1 13 1 7,69 12 92,31 0 0 
По всем | 48 34 70,83 14 29,17 2 4,17 33,33 
Изображение Ме Ъе0 
Корре- 2 28 28 100 0 0 1 3,57 
ляция 1 152 140 92,11 12 7,89 6 3,95 
По всем | 180 168 93,33 12 6,67 7 3,89 10,56 
23х23 2 28 28 100 0 0 0 0 
1 152 129 84,87 23 15,13 1 0,66 
По всем | 180 157 87,22 28 12,78 1 0,56 13,33 
4_20 2 28 28 100 0 0 0 0 
| 152 | 138 | 90.79 14 9.21 0 0 
По всем | 180 166 92,22 14 7,78 0 0 7,78 
5 19 2 28 28 100 0 0 0 0 
1 152 141 92,76 11 7,24 0 0 
По всем | 180 169 93,89 ПЦ 6,11 0 0 6,11 
7_17 2 28 28 100 0 0 2 7,14 
1 152 143 94,08 9 5,92 1 0,66 
По всем | 180 ЕТ 95 9 5 3 1,67 6,67 
9 15 2 28 28 100 0 0 1 3,57 
1 152 117 76,97 35 23,03 0 0 
По всем | 180 145 80,56 35 19,44 1 0,56 20 
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Продолжение табл. 1 


1 2 3 4 5 6 7 8 9 10 
Изображение Ме 430 
Корре- 2 
ИДЯ 1 65 63 96,92 2. 3,08 1 1,54 
По всем 65 63 96,92 2 3,08 1 1,54 4,62, 
23х23 2 
1 65 54 83,08 19 16,92 0 0 
По всем 65 54 83,08 19 16,92 0 0 16,92 
4_20 2 
1 65 54 83,08 и 16,92 1 1,54 
По всем 65 54 83,08 и 16,92 1 1,54 18,46 
5: 19 2 
1 65 63 96,92 2 3,08 4 6,15 
По всем 65 63 96,92 2 3,08 4 6,15 9,23 
7 17 2 
1 65 43 66,15 22 33,85 1 1,54 
По всем 65 43 66,15 22 33,85 1 1,54 35,38 
9 15 2 
1 65 31 47,69 34 52,31 1 1,54 
По всем 65 31 47,69 34 52,31 1 1,54 53,85 


На графике (рис. 6) дана обобщенная информация о результатах эксперимента. 
По оси ординат отложены значения столбца 10 для каждой архитектуры классифика- 
тора, по оси абсцисс отложены типы архитектур по мере их усложнения. Приводятся 
графики результатов экспериментов для каждого тестового изображения: Ме_5а0 — 
синий, Ме 5с0 -— розовый, Ме Ъе0 — желтый, Ме 430 - голубой. 

Как видно из графика, наилучшей структурой сети является 5_19, она дает наи- 
меньший процент ошибки по всем тестовым изображениям. 
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Рисунок 6 — График зависимости ошибки от структуры НС 
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Каждый из критериев вычислялся по следующим формулам: 
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где с — общее количество объектов; г=с-—т-у -— количество правильно классифи- 
цированных объектов; т — количество нераспознанных объектов; и’ — количество 
объектов, отнесенных к неправильному классу; ип — количество областей, не являю- 
щихся объектами, но отнесенных к одному из классов. Были получены следующие 
результаты: А = 94,55 %; М = 5,29 %; И/ = 0,16 %; М= 8,8 %. 

Результаты тестов для архитектуры 5_19 приведены на рис. 7. Квадратами от- 
мечены области, отнесенные к объектам. На рис. 70 кружком другого цвета показаны 
фрагменты ИС, содержащие ошибки распознавания: нераспознанные объекты либо 
ошибочно отнесенные к объектам области. 


Заключение 


Нейросетевая технология обработки изображений топологии ИС заключается в 
использовании моделей интеллектуальных НС для основных этапов обработки 
объектов топологии, критичных для принятия решения при идентификации на изоб- 
ражениях области металлизации, контактных площадок и других топологических 
объектов, и классификации объектов. Возможность использования множества конку- 
рирующих нейросетевых архитектур обеспечивает стабильность и снижение вычисли- 
тельной сложности процесса обучения при нечеткой информации об объектах топологии, 
улучшая при этом качество распознавания. 


5= мы 
ю.^_- сое 


и 

ИЕ: 

: 

а 

| у 
- 

[*] 


оо@особааса 


Рисунок 7 — Результаты тестов на изображениях: 
а) Ме 5а0; 6) Ме_5с0; в) Ме Ъе0; г) Ме 430; д) ошибки распознавания 
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Заметим, что сфера приложений ряда предложенных методов и алгоритмов не 
ограничивается лишь рассмотренной предметной областью. Описанная технология 
обработки апробирована также при решении таких практических задач, как иденти- 
фикация болезни сельскохозяйственных полей по цветовым характеристикам изобра- 
жений растений, управление мобильным роботом, сегментация многоспектральных 
изображений для тематической обработки изображений земной поверхности. 
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Неокогн!грон для розшзнавання об’екив топологй штегральних мкросхем 

3 метою полшшення характеристик обробки 1нформаци 1 точност! розшзнавання проводиться анал!з 
структури НС «неокогнтрон» 1 описуеться вибтр архтектури розроблено{ багатошарово! НС, яка 
реализуе багатор1вневий процес розшзнавання об’ект!в топологий 1нтегральних микросхем. 
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Апа|у$1$ оР пеосогпигоп згасйге 15 сагле ойё ш ог4ег ю ппргоуе рагатеег$ оЁ даа ргосеззте ап 
тесоот!йоп ассигасу. А сКВотсе оЁ те та 1ауеге4 пеига| пебмогК агсЬцесвге 1$ дезспе4 ог пиШеуе1 
гесост!юп ргосез$ оЁ ицеотае4 сисий$ [ауой{ обес. 
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